В марте компания VMware анонсировала скорую доступность первого пакета обновлений своей флагманской платформы виртуализации VMware vSphere 8.0 Update 1. Напомним, что прошлая версия VMware vSphere 8.0 была анонсирована на конференции VMware Explore 2022 в августе прошлого года.
Давайте посмотрим, что нового появилось в vSphere 8.0 U1:
1. Полная поддержка vSphere Configuration Profiles
В vSphere 8.0 эта функциональность впервые появилась и работала в режиме технологического превью, а в Update 1 она полностью вышла в продакшен. Эта возможность представляет собой новое поколение инструментов для управления конфигурациями кластеров и заменяет предыдущую функцию Host Profiles. Ее особенности:
Установка желаемой конфигурации на уровне кластера в форме JSON-документа
Проверка хостов на соответствие желаемой конфигурации
При выявлении несоответствий - перенастройка хостов на заданный уровень конфигурации
В vSphere 8 Update 1 возможности Configuration Profiles поддерживают настройку распределенных коммутаторов vSphere Distributed Switch, которая не была доступна в режиме технологического превью. Однако, окружения, использующие VMware NSX, все еще не поддерживаются.
Существующие кластеры можно перевести под управление Configuration Profiles. Если для кластера есть привязанный профиль Host Profile, то вы увидите предупреждение об удалении профиля, когда кластер будет переведен в Configuration Profiles. Как только переход будет закончен, Host Profiles уже нельзя будет привязать к кластеру и хостам.
Если кластер все еще использует управление жизненным циклом на базе бейзлайнов, то сначала кластер нужно перевести в режим управления image-based:
vSphere Configuration Profiles могут быть активированы при создании нового кластера. Это требует, чтобы кластер управлялся на основе единого определения образа. После создания кластера доступна кастомизация конфигурации. Более подробно о возможностях Configuration Profiles можно почитать здесь.
2. vSphere Lifecycle Manager
для отдельных хостов
В vSphere 8 появилась возможность управлять через vSphere Lifecycle Manager отдельными хостами ESXi под управлением vCenter посредством vSphere API. В Update 1 теперь есть полная поддержка vSphere Client для этого процесса - создать образ, проверить и привести в соответствие, а также другие функции.
Все, что вы ожидаете от vSphere Lifecycle Manager для взаимодействия с кластером vSphere, вы можете делать и для отдельных хостов, включая стейджинг и функции ESXi Quick Boot.
Также вы можете определить кастомные image depots для отдельных хостов - это полезно, когда у вас есть хост, который находится на уровне edge и должен использовать depot, размещенный совместно с хостом ESXi, во избежание проблем с настройкой конфигурации при плохом соединении удаленных друг от друга хостов ESXi и vCenter.
3. Различные GPU-нагрузки хоста на базе одной видеокарты
В предыдущих версиях vSphere все рабочие нагрузки NVIDIA vGPU должны были использовать тот же самый тип профиля vGPU и размер памяти vGPU. В vSphere 8 U1 модули NVIDIA vGPU могут быть назначены для различных типов профилей. Однако, размер памяти для них должен быть, по-прежнему, одинаковым. Например, на картинке ниже мы видим 3 виртуальных машины, каждая с разным профилем (B,C и Q) и размером памяти 8 ГБ. Это позволяет более эффективно разделять ресурсы между нагрузками разных видов.
NVIDIA позволяет создавать следующие типы профилей vGPU:
Profile type A - для потоково доставляемых приложений или для решений на базе сессий
Profile type B - для VDI-приложений
Profile type C - для приложений, требовательных к вычислительным ресурсам (например, machine learning)
Profile type Q - для приложений, требовательных к графике
4. Службы Supervisor Services для vSphere Distributed Switch
В vSphere 8 Update 1, в дополнение к VM Service, службы Supervisor Services теперь доступны при использовании сетевого стека vSphere Distributed Switch.
Supervisor Services - это сертифицированные в vSphere операторы Kubernetes, которые реализуют компоненты Infrastructure-as-a-Service, тесно интегрированные со службами независимых разработчиков ПО. Вы можете установить и управлять Supervisor Services в окружении vSphere with Tanzu, чтобы сделать их доступными для использования рабочими нагрузками Kubernetes. Когда Supervisor Services установлены на Supervisors, инженеры DevOps могут использовать API для создания инстансов на Supervisors в рамках пользовательских пространств имен.
Возможность VM Service была доработана, чтобы поддерживать образы ВМ, созданные пользователями. Теперь администраторы могут собирать собственные пайплайны сборки образов с поддержкой CloudInit и vAppConfig.
Администраторы могут добавить эти новые шаблоны ВМ в Content library, чтобы они стали доступны команде DevOps. А сами DevOps создают спецификацию cloud-config, которая настроит ВМ при первой загрузке. Команда DevOps отправляет спецификацию ВМ вместе cloud-config для создания и настройки ВМ.
DevOps могут теперь получать простой доступ к виртуальным машинам, которые они развернули, с использованием kubectl.
В этом случае создается уникальная ссылка, по которой можно получить доступ к консоли ВМ, и которая не требует настройки разрешений через vSphere Client. Веб-консоль дает по этому URL доступ пользователю к консоли машины в течение двух минут. В этом случае нужен доступ к Supervisor Control Plane по порту 443.
Веб-консоль ВМ дает возможности самостоятельной отладки и траблшутинга даже для тех ВМ, у которых может не быть доступа к сети и настроенного SSH.
7. Интегрированный плагин Skyline Health Diagnostics
Теперь развертывание и управление VMware Skyline Health Diagnostics упростилось за счет рабочего процесса, встроенного в vSphere Client, который дает возможность просто развернуть виртуальный модуль и зарегистрировать его в vCenter.
Skyline Health Diagnostics позволяет вам:
Диагностировать и исправлять различные типы отказов в инфраструктуре
Выполнять проверку состояния компонентов (health checks)
Понимать применимость VMware Security Advisories и связанных элементов
Обнаруживать проблемы, которые влияют на апдейты и апгрейды продукта
Утилита использует логи, конфигурационную информацию и другие источники для обнаружения проблем и предоставления рекомендаций в форме ссылок на статьи KB или шагов по исправлению ситуации.
8. Улучшенные метрики vSphere Green Metrics
В vSphere 8.0 появились метрики, которые отображают потребление энергии виртуальными машинами с точки зрения энергоэффективности виртуального датацентра. В vSphere 8.0 Update 1 теперь можно отслеживать их на уровне отдельных ВМ. Они берут во внимание объем ресурсов ВМ, чтобы дать пользователю более точную информацию об энергоэффективности на уровне отдельных нагрузок. Разработчики также могут получать их через API, а владельцы приложений могут получать агрегированное представление этих данных.
Метрика Static Power - это смоделированное потребление мощности простаивающих ресурсов ВМ, как если бы она был хостом bare-metal с такими же аппаратными параметрами процессора и памяти. Static Power оценивает затраты на поддержание таких хостов во включенном состоянии. Ну а Usage - это реально измеренное потребление мощности ВМ в активном режиме использования CPU и памяти, которые запрашиваются через интерфейс (IPMI - Intelligent Platform Management Interface).
9. Функция Okta Identity Federation для vCenter
vSphere 8 Update 1 поддерживает управление идентификациями и многофакторной аутентификацией в облаке, для чего на старте реализована поддержка Okta.
Использование Federated identity подразумевает, что vSphere не видит пользовательских учетных данных, что увеличивает безопасность. Это работает по аналогии со сторонними движками аутентификации в вебе, к которым пользователи уже привыкли (например, логин через Google).
10. Функции ESXi Quick Boot для защищенных систем
vSphere начала поддерживать Quick Boot еще с версии vSphere 6.7. Теперь хосты с поддержкой TPM 2.0 проходят через безопасный процесс загрузки и аттестации, что позволяет убедиться в неизменности хоста - а это надежный способ предотвратить атаки malware. Quick Boot теперь стал полноценно совместимым процессом в vSphere 8 Update 1.
11. Поддержка vSphere Fault Tolerance с устройствами vTPM
Функции непрерывной доступности VMware vSphere Fault Tolerance (FT) позволяют подхватить исполнение рабочей нагрузки на резервном хосте без простоя в случае проблем основной ВМ. Теперь эта функция поддерживает ВМ, настроенные с устройствами vTPM.
Модели Virtual TPM - это важный компонент инфраструктуры, используемый такими решениями, как Microsoft Device Guard, Credential Guard, Virtualization-Based Security, Secure Boot & OS attestation, а также многими другими. Это, зачастую, и часть регуляторных требований комплаенса.
12. Поддержка Nvidia NVSwitch
В рамках партнерства с NVIDIA, VMware продолжает расширять поддержку продуктового портфеля этого вендора.
Эта технология используется в high-performance computing (HPC) и для AI-приложений (deep learning, научное моделирование и анализ больших данных), что требует работы модулей GPU совместно в параллельном режиме. В современном серверном оборудовании различные приложения ограничены параметрами шины. Чтобы решить эту проблему, NVIDIA создала специальный коммутатор NVSwitch, который позволяет до 8 GPU взаимодействовать на максимальной скорости.
Вот нюансы технологий NVLink и NVSwitch:
NVLink - это бэкенд протокол для коммутаторов NVSwitch. NVLink создает мост для соединений точка-точка и может быть использован для линковки от 2 до 4 GPU на очень высокой скорости.
NVSwitch требует, чтобы более 4 GPU были соединены, а также использует поддержку vSphere 8U1 NVSwitch для формирования разделов из 2, 4 и 8 GPU для работы виртуальных машин.
NVLink использует архитектуру Hopper, что предполагает создания пары GPU, которые передают до 450 GB/s (то есть общая скорость до 900 GB/s).
Для сравнения архитектура Gen5 x16 может передавать на скорости до 64 GB/s, то есть NVLink и NVSwitch дают очень существенный прирост в скорости.
13. Функции VM DirectPath I/O Hot-Plug для NVMe
В прошлых релизах добавление или удаление устройств VM DirectPath IO требовало нахождения ВМ в выключенном состоянии. Теперь же в vSphere 8 Update 1 появилась поддержка горячего добавления и удаления устройств NVMe через vSphere API.
На этом пока все, в следующих статьях мы расскажем об улучшениях Core Storage в vSphere 8 Update 1.
На сайте проекта VMware Labs появилось обновление продукта ESXi Arm Edition 1.12. Напомним, что это решение представляет собой гипервизор для архитектуры ARM на базе кода ESXi. В будущем он найдет свое применение в таких решениях, как Project Monterey. О прошлой версии ESXi для ARM 1.11 мы писали в октябре прошлого года.
Давайте посмотрим, что нового в ESXi Arm Edition 1.12:
1. Улучшения технологии виртуализации
Различные улучшения в комплаенсе Arm SystemReady для виртуального аппаратного обеспечения, транслируемого в гостевые ОС
Исправления ошибок совместимости для механизма secure boot
2. Улучшения поддержки хостов
Экспериментальная поддержка серверов HPE ProLiant RL300 Gen11 и платформ на базе Marvell OCTEON 10
Поддержка NVMe на безкэшевых комплексах PCIe root (например, системы Rockchip RK3566, такие как Pine64 Quartz64 и Firefly Station M2)
Добавлен воркэраунд для устройств с PCI vendor/device ID 126f:2263 (например, Patriot M.2 P300), которые передают неуникальные идентификаторы EUI64/NGUID, которые не давали возможности обнаруживать более одного диска на системах с несколькими накопителями. При обновлении на версию 1.12 из предыдущих релизов эти устройства не будут смонтированы по умолчанию, чтобы это сделать прочитайте инструкцию вот тут.
Многие администраторы сталкиваются с необходимостью обновления пакета VMware Tools в большом количестве виртуальных машин, работающих на серверах ESXi платформы VMware vSphere.
Общие сведения об обновлении VMware Tools
На данный момент можно использовать один из трех способов массового VMware Tools в большой инфраструктуре:
Применение средства VMware vSphere Lifecycle Manager (ранее его функционал был частью VMware Update Manager)
Написание сценариев для фреймворка VMware vSphere PowerCLI
Использование сторонних утилит для обновления тулзов
В отличие от версий аппаратной обеспечения (VM Hardware), компания VMware рекомендует всегда использовать последнюю версию пакета VMware Tools, для которого есть матрицы совместимости с различными версиями хостов ESXi. Посмотреть их можно по этой ссылке.
Например, мы видим, что VMware Tools 2016 года все еще можно использовать в ВМ на ESXi 7.0 U3. Также виртуальная машина на сервере VMware ESXi 5.5 может иметь текущую версию VMware Tools (сейчас это 12.1.5).
Напомним, что VMware Tools - это не только часть дистрибутива vSphere, но и отдельный продукт, который можно скачать с портала Customer Connect.
Есть несколько вариантов по загрузке этого пакета:
Бандл для общего репозитория Locker
(например, VMware-Tools-windows-12.1.5-20735119.zip) - он используется для создания локального или общего репозитория с нужной версией VMware Tools.
Установщик в гостевой ОС, который можно запустить в ней как исполняемый файл (VMware-tools-12.1.5-20735119-x86_64.exe.zip).
Пакеты для GuestStore
(gueststore-vmtools-12.1.5-20735119-20735876.zip) - это новая возможность, которая появилась в vSphere 7.0 U2. GuestStore сделан не для обновления VMware Tools, но может использоваться для этой цели (это тема для отдельной статьи).
Офлайн VIB-пакет с тулзами (VMware-Tools-12.1.5-core-offline-depot-ESXi-all-20735119.zip) - он используется как Baseline для обновления VMware Tools на хостах.
Исторически пакет VMware Tools, в основном, выпускался для Windows и Linux. Есть также версии этого пакета и для FreeBSD, Solaris и MacOS. Здесь есть следующие нюансы:
Начиная с версии VMware Tools 10.2.0, инсталляция на базе Perl-скриптов для FreeBSD больше не поддерживается. В этом случае также надо использовать open-vm-tools.
Последняя версия тулзов для гостевых ОС Solaris - это 10.3.10.
Как мы увидим дальше, очень важно знать, какая версия VMware Tools размещена локально на хосте ESXi после его установки. Эта версия может быть использована для проверки актуальных пакетов в виртуальных машинах. Для быстрой проверки текущей версии пакета на хосте можно использовать следующую команду:
esxcli software component get | grep VMware-VM-Tools -B 1 -A 14
Если вы хотите использовать для этого PowerCLI, то можно выполнить следующий сценарий:
Итак, рассмотрим обновление VMware Tools одним из двух способов:
Обновление VMware Tools как отдельного пакета ПО
В этом случае для нужно версии тулзов можно использовать любое средство, например Microsoft System Center, которое предназначено для массового развертывания программ. Также вы можете использовать любые скрипты и другие средства в режиме тихой установки (silent install).
Обновление VMware Tools посредством функционала vSphere
При развертывании и апгрейде хостов ESXi на них помещаются соответствующие версии VMware Tools (чтобы узнать список версий, загляните сюда). По умолчанию пакеты помещаются в папку /productLocker на хосте ESXi - это symbolic link, то есть просто указатель на настроенную папку. Чтобы узнать, какая версия VMware Tools является текущей, сервер vCenter сравнивает установленную версию тулзов в ВМ с версией, которая хранится в разделе /productLocker. Если актуальная версия в гостевой ОС меньше хранящейся на хосте, то в vSphere Client вы увидите соответствующее предупреждение:
Далее вам нужно выполнить процедуру, состоящую из двух основных шагов:
Настраиваем хост ESXi для использования определенной версии VMware Tools
Автоматизируем процесс обновления тулзов в гостевых ОС виртуальных машин
Шаг 1 - Настройка хоста ESXi для использования определенной версии VMware Tools
Надо сказать, что не рекомендуется вручную обновлять содержимое папки /productLocker, так как это не поддерживаемый официально процесс, и при апгрейде хоста вы можете получить более старую версию пакета. Также вы можете использовать конкретную версию VMware Tools для всех ВМ (например, ту, что содержит исправление конкретного бага).
Используем vSphere Lifecycle Manager для обновления VMware Tools на хостах ESXi
Это рекомендуемый способ обновления пакета VMware Tools, здесь может быть использован один из двух пакетов обновления хостов в кластере:
Если вы обновляете кластер, используя базовые уровни (baselines), вы можете создать кастомный образ, который включает желаемые версии VMware Tools, либо вы можете развернуть тулзы с использованием кастомного бейзлайна.
Давайте посмотрим на обновление с использованием метода Baseline:
Просто скачиваем VMware Tools Offline VIB bundle
Загружаем бандл на vSphere Lifecycle Manager (либо VIB-пакет может быть загружен этим продуктом автоматически)
Выполняем функцию Remediate для накатывания VMware Tools для ВМ на хостах ESXi
После успешного апдейта, локальный репозиторий VMware Tools также будет обновлен.
Несмотря на то, что хост не нужно перезагружать после обновления, он все равно должен быть помещен в режим обслуживания (maintenance mode). В противном случае, процесс обновления может выглядеть успешным, но в реальности изменений на хосте не произойдет.
Теперь посмотрим на процесс обновления VMware Tools методом Single Image:
В этом случае можно изменить только версию VMware Tools, а остальное можно оставить как есть.
Создаем общий репозиторий для нужной версии VMware Tools
Этот подход создает центральный репозиторий VMware Tools для нескольких хостов. В этом случае они не будут использовать локальный репозиторий, а на общем хранилище будет использоваться общая папка, которая станет новым репозиторием. Преимуществом данного подхода является обслуживание только одного экземпляра репозитория. Процесс создания этого репозитория описан в KB 2129825.
Как это выглядит по шагам:
1. Создаем на общем томе VMFS папку и устанавливаем для нее разрешения:
cd /vmfs/volumes/datastore
mkdir vmtools-repository-name
chmod 700 vmtools-repository-name
2. Если вы хотите использовать уже использованный репозиторий, то папку надо очистить:
3. Добавляем файлы, загруженные из Customer Connect и распакованные, в эту папку - у вас получится две подпапки, содержащие нужные файлы:
На скриншоте показан пример для VMware Tools под Windows. Если вы хотите использовать старые тулзы для Linux, то их нужно добавить в папку vmtools. Также посмотрите вот эту нашу статью о VMware Tools.
5. Если вы делаете процедуру впервые, то нужно настроить хосты ESXi для использования данной папки репозитория вместо используемой локальной папки по умолчанию. Для этого вам нужно добавить расширенную настройку UserVars.ProductLockerLocation (по умолчанию она указывает на /locker/packages/vmtoolsRepo/). Напомним, что /productLocker - это символьная ссылка, поэтому нужно использовать полный путь.
Так как мы обсуждаем массовое обновление тулзов, то имеет смысл показать здесь применение данного способа с использованием PowerCLI:
Для вывода текущей директории Locker выполняем следующий командлет:
Get-VMHost | Get-AdvancedSetting -Name "UserVars.ProductLockerLocation" | Select-Object Entity, Value
Для изменения директории выполняем такой командлет:
Будьте аккуратны при вызове второй команды, так как она меняет параметр на всех хостах, которые вы указали.
6. После этого вам нужно будет перезагрузить хост для обновления символьной ссылки /productLocker.
Шаг 2 - Автоматизация процесса обновления тулзов в гостевых ОС виртуальных машин
Теперь мы готовы автоматизировать апдейты VMware Tools в гостевой ОС. Так как мы говорим о массовом обновлении пакетов, то мы не будем обсуждать вариант с логином в гостевую ОС, монтирования ISO-образа и запуском exe-файла.
Сначала посмотрим, какие версии сейчас установлены в виртуальных машинах, с помощью PowerCLI. Запускаем следующую команду:
Это не самая удобная нотация, но она соответствует той, что мы видим на странице VM Summary на сервере vCenter. Для получения параметров этой команды используйте маппинг-файл версий.
4 способа автоматизации обновления VMware Tools в гостевой ОС:
1. Обновляем VMware Tools немедленно или ставим запланированную задачу через vCenter
Через интерфейс не всегда удобно работать с массовым обновлением, но в данном случае это можно сделать с помощью отфильтрованного списка ВМ и установки настроек по срабатыванию действий с объектами.
vSphere Lifecycle Manager имеет довольно мощный функционал в этом плане. Процесс обновления можно запланировать на базе состояния питания ВМ. Также можно задать опции предварительного создания снапшота ВМ.
Выбираем нужный кластер, идем на вкладку Updates и выбираем VMware Tools. Фильтруем нужные нам ВМ или выбираем все, далее кликаем Upgrade to match host. В следующих окнах у вас будет множество опций для создания запланированной задачи:
Вы можете не только настроить создания снапшота перед апдейтом, но и задать число часов, по истечении которых снапшот будет удален. Также в состав снапшота может входить и состояние оперативной памяти.
Также помните, что массовое удаление снапшотов в одно время может создать очень большую нагрузку на хранилище. Поэтому лучше снапшоты использовать только для самых критичных ВМ, которые должны сразу оказаться доступными в случае каких-либо проблем.
Дефолтные настройки для этих параметров вы можете установить здесь: Menu -> Lifecycle Manager -> Settings -> VMs:
2. Мгновенное обновление VMware Tools через vSphere PowerCLI
Для обновления тулзов на выбранных хостах (или всех) используется командлет Update-Tools. Он инициирует процесс обновления пакета изнутри гостевой ОС. По умолчанию Update-Tools ждет завершения обновления, после чего инициируется процесс перезагрузки ВМ. Это поведение можно изменить, используя параметры NoReboot и RunAsync.
Следующая команда начинает процесс обновления в виртуальной машине Win2019-01 в рамках задачи:
Get-VM Win2019-01 | Update-Tools –RunAsync
Чтобы посмотреть статус выполняемых задач, используйте команду Get-Task:
Так как это команда PowerShell - ее также можно добавить в запланированные задачи.
3. Обновление VMware Tools при следующей загрузке ВМ в интерфейсе vSphere Client
В рамках окна обслуживания виртуальные машины обычно можно перезагружать. Его, как раз, можно использовать и для обновления VMware Tools. Для этого надо настроить ВМ для проверки версии тулзов при загрузке. Если установленная версия меньше необходимой (по ссылке в /productLocker), то начинается процесс апдейта.
Для изменения политики обновлений, выберите нужный кластер и перейдите на вкладку Updates, где выберите VMware Tools. Там можно фильтровать список ВМ:
После того, как вы выберете машины, можно задать политику автообновления для них:
4. Обновление тулзов при следующей загрузке с использованием vSphere PowerCLI
Сначала посмотрим, текущую конфигурацию ВМ через PowerCLI:
Уделите особое внимание тому факту, какие ВМ вы поместите в переменную $VMs. При таком подходе для обновления VMware Tools вы не сможете запланировать создание предварительных снапшотов ВМ.
Сам гипервизор ESXi присутствует на рынке уже более 15 лет (раньше он назывался ESX и был построен поверх ОС Linux), и его состав и занимаемый объем на диске менялся со временем. Напомним, что в восьмой версии гипервизора VMware добавила компоненты esxio, обеспечивающие функционирование технологии Project Monterey и SmartNIC, а также составляющие поддержки архитектуры ARM.
Давайте посмотрим, как менялся объем гипервизора, входившего в установочный ISO-образ ESXi, от версии к версии:
ESXi 3.5 - 46,01 MB
ESXi 4.0 - 59,99 MB
ESXi 4.1 - 85,19 MB
ESXi 5.0 - 132,75 MB
ESXi 5.1 - 125,85 MB
ESXi 5.5 - 151,98 MB
ESXi 6.0 - 154,90 MB
ESXi 6.5 - 135,39 MB
ESXi 6.7 - 129,51 MB
ESXi 7.0 - 149,40 MB
ESXi 8.0 - 226,62 MB
Визуализация этих цифр выгладит так:
Надо сказать, что это только размер самого гипервизора, но помимо него в установочном образе содержатся и другие элементы, такие как драйверы устройств, образы VMware Tools и другие вспомогательные библиотеки и системные компоненты.
Если посмотреть на ISO-образ VMware ESXi 8.0, то там будут следующие составные части:
Визуализация этого выглядит так:
Сейчас установочный ISO-образ весит 600-650 МБ, в зависимости от содержащихся в нем апдейтов:
Также если вы перейдете на страницу загрузки VMware ESXi, то увидите, что там есть и Offline Bundle, который занимает значительно больше места на диске, а поставляется он в формате ZIP-архива:
Этот бандл нужен в качестве источника для обновлений VMware Lifecycle Manager - он содержит не только сами компоненты ISO-образа, но и все необходимые апдейты, которые можно накатить на уже установленный гипервизор, чтобы получить актуальную версию платформы.
При попытке запустить такую ВМ она не включится, а в логе vmware.log в папке с ВМ вы увидите такие записи:
2023-02-15T05:34:31.379Z In(05) vcpu-0 - SECUREBOOT: Signature: 0 in db, 0 in dbx, 1 unrecognized, 0 unsupported alg.
2023-02-15T05:34:31.379Z In(05) vcpu-0 - Hash: 0 in db, 0 in dbx.
2023-02-15T05:34:31.379Z In(05) vcpu-0 - SECUREBOOT: Image DENIED.
Ситуация была исправлена со стороны VMware в патче обновлений vSphere 7 Update 3k (KB 90947), который предлагается установить всем пользователям, затронутых этой ситуацией.
Отметим, что с виртуальными машинами на vSphere 8 никаких неприятностей не произошло.
Скачать VMware vSphere 7 Update 3k можно по этой ссылке. Release Notes находятся тут.
Компания VMware выпустила небольшое обновление хост-серверов платформы виртуализации VMware vSphere - ESXi 8.0b и vCenter 8.0b. Напомним, что о прошлом обновлении VMware vCenter 8.0a мы писали вот тут.
Из нового в ESXi 8.0b заявлена только поддержка технологиии vSphere Quick Boot для следующих серверов:
Наш постоянный читатель Сергей обратил внимание на то, что недавно вышла новая версия средства мониторинга ИТ-инфраструктуры Zabbix 6.2, в которой есть много всего нового и полезного для наблюдения за виртуальной инфраструктурой VMware vSphere.
Давайте посмотрим, что там интересного в плане работы с хостами vSphere:
Возможность вручную назначать шаблоны обнаруженным хостам ESXi
Создание и изменение пользовательских макросов для обнаруженных хостов ESXi
Добавление дополнительных тэгов для серверов
Также функции мониторинга были доработаны, чтобы поддерживать новые сущности и низкоуровневые правила их обнаружения.
Это позволяет отслеживать новые метрики, а именно:
Также теперь обнаружение хостов VMware vSphere может быть отфильтровано на базе их статуса включенности (например, можно добавить только работающие сейчас хосты ESXi).
Более подробно о новой версии Zabbix 6.2 можно почитать на этой странице. Скачать продукт можно тут.
Иногда при работе администратора с виртуальными машинами VMware vSphere происходит ошибка при работе с дескрипторными файлами дисков VMDK, которая проявляет себя следующим образом:
Диск ВМ показывается в Datastore Browser, но иконка для него отсутствует
При включении ВМ вы получаете ошибку " File not found"
Сам файл ВМ вида <имя ВМ>-flat.vmdk есть в директории с машиной, но файла <имя ВМ>.vmdk вы не видите
Сам файл <имя ВМ>.vmdk отсутствует, либо он есть, но его содержимое повреждено
Эти симптомы могут возникать по разным причинам, но суть их одна - дескрипторный файл ВМ поврежден или отсутствует. Ситуация поправима, если у вас есть основный диск с данными - <имя ВМ>-flat.vmdk, и он сохранился в целости.
В 2012 году мы писали о том, как быть, если у вас возникла проблема с дескрипторным файлом виртуальной машины в среде VMware vSphere. В целом, с тех времен ничего особо не поменялось. Процесс этот довольно простой и описан в KB 1002511, также он детально разобран в видео ниже:
Часть 1 - восстановление основного VMDK виртуальной машины
Перед выполнением операций ниже обязательно сохраните полную копию папки виртуальной машины, и только после этого проводите все описанные ниже операции. Если у вас есть резервная копия виртуальной машины, и ее восстановление вас устраивает - то лучше сделать эту операцию вместо описанной ниже процедуры исправления дисков, так как вероятность ошибиться в ней велика.
Если вкратце, то для восстановления вам нужно выполнить следующие шаги:
1. Соединяемся с хостом VMware ESXi по SSH как root. Либо операции можно проводить непосредственно в консоли DCUI.
2. Переходим в папку с ВМ и определяем геометрию основного диска VMDK с данными <имя ВМ>-flat.vmdk
Делается это командой:
# ls -l <имя диска>-flat.vmdk
На выходе мы получим размер диска в байтах. Вывод будет выглядеть примерно так:
-rw------- 1 root root 4294967296 Oct 11 12:30 vmdisk0-flat.vmdk
3. Теперь нужно пересоздать заголовочный файл VMDK (<имя ВМ>.vmdk), чтобы он соответствовал диску с данными, используя тот же размер диска, полученный на предыдущем шаге:
# vmkfstools -c 4294967296 -a lsilogic -d thin temp.vmdk
После этого переименовываем дескрипторный VMDK-файл созданного диска в тот файл, который нам нужен для исходного диска. Затем удаляем только что созданный пустой диск данных нового диска, который уже не нужен (temp-flat.vmdk).
Если у изначальной машины диск был не растущим по мере наполнения (thin disk), то последнюю строчку, выделенную красным, можно не добавлять.
Вы также можете поменять тип адаптера ddb.adapterType = lsilogic на ddb.adapterType = pvscsi, если вы использовали паравиртуализованный SCSI-контроллер для исходной ВМ.
Консистентность виртуальной машины можно проверить командой:
vmkfstools -e filename.vmdk
Если все в порядке, то в ответе команды вы получите вот такую строчку:
Disk chain is consistent.
Если же исправить ситуацию не получилось, то будет вот такой текст:
Disk chain is not consistent : The parent virtual disk has been modified since the child was created. The content ID of the parent virtual disk does not match the corresponding parent content ID in the child (18).
После этого можно запускать виртуальную машину, добавив ее повторно в окружение vSphere Client.
Часть 2 - исправление дескрипторов файлов снапшотов ВМ (delta-файлы)
Ситуация усложняется, когда у исходной виртуальной машины были снапшоты, тогда папка с ней выглядит следующим образом (красным выделены важные для нас в дальнейших шагах файлы):
drwxr-xr-x 1 root root 1400 Aug 16 09:39 .
drwxr-xr-t 1 root root 2520 Aug 16 09:32 ..
-rw------- 1 root root 32768 Aug 17 19:11 examplevm-000002-delta.vmdk
-rw------- 1 root root 32768 Aug 17 19:11 examplevm-000002.vmdk
-rw------- 1 root root 32768 Aug 16 14:39 examplevm-000001-delta.vmdk
-rw------- 1 root root 32768 Aug 16 14:39 examplevm-000001.vmdk
-rw------- 1 root root 16106127360 Aug 16 09:32 examplevm-flat.vmdk
-rw------- 1 root root 469 Aug 16 09:32 examplevm.vmdk
-rw------- 1 root root 18396 Aug 16 14:39 examplevm-Snapshot1.vmsn
-rw------- 1 root root 18396 Aug 17 19:11 examplevm-Snapshot2.vmsn
-rw------- 1 root root 397 Aug 16 09:39 examplevm.vmsn
-rwxr-xr-x 1 root root 1626 Aug 16 09:39 examplevm.vmx
-rw------- 1 root root 259 Aug 16 09:36 examplevm.vmxf
Основной порядок действий в этой ситуации приведен в KB 1026353, здесь же мы опишем его вкратце (кстати, напомним про необходимость сделать полный бэкап всех файлов ВМ перед любыми операциями):
1. Определяем нужные нам файлы
Итак, заголовочные файлы снапшотов ВМ хранятся в так называемых файлах типа vmfsSparse, они же работают в связке с так называемым delta extent file, который непосредственно содержит данные (выше это, например, examplevm-000001-delta.vmdk).
Таким образом, опираясь на пример выше, нам интересны заголовочные файлы снапшотов examplevm-000001.vmdk и examplevm-000002.vmdk. Помните также, что диски и их снапшоты могут находиться в разных папках на разных датасторах, поэтому сначала вам нужно понять, где и что у вас хранится. Если у вас есть сомнения касательно имен нужных вам файлов, вы можете заглянуть в лог-файл vmware.log, чтобы увидеть там нужные пути к датасторам.
2. Создаем новый дескриптор снапшота
Итак, представим теперь, что файл examplevm-000001.vmdk у нас поврежден или отсутствует. Создадим новый дескриптор снапшота из исходного заголовочного файла examplevm.vmdk простым его копированием:
# cp examplevm.vmdk examplevm-000001.vmdk
3. Меняем указатели на файл с данными для снапшота
Теперь нужно открыть созданный файл в текстовом редакторе и начать его исправлять. Пусть он выглядит вот так:
# Disk DescriptorFile
version=1
encoding="UTF-8" CID=19741890
parentCID=ffffffff
createType="vmfs"
Красным мы выделили то, что будем в этом файле изменять, а синим - то, что будем удалять.
С данным файлом нужно сделать следующие манипуляции:
Строчку CID=19741890 заменяем на случайное восьмизначное значение (это идентификатор диска)
Строчку parentCID=ffffffff заменяем на parentCID=19741890 (идентификатор родительского диска, им может быть не только родительский основной диск, но и родительский снапшот, то есть его дескриптор)
Строчку createType="vmfs" заменяем на createType="vmfsSparse"
Строчку RW 31457280 VMFS "examplevm-flat.vmdk" заменяем на RW 31457280 VMFSSPARSE "examplevm-000001-delta.vmdk" (обратите внимание, что номер 31457280 остается тем же - он должен быть тем же самым для всей цепочки дочерних дисков)
4. Добавляем данные специфичные для снапшота
Теперь нам надо добавить в указатель снапшота кое-что новое:
Под строчкой createType="vmfsSparse" добавляем строчку
parentFileNameHint="examplevm.vmdk"
Ну и теперь надо убрать лишнее. Удаляем из файла следующие строчки, которые нужны только для основного родительского диска:
После этого вы можете попробовать запустить машину с дочерним снапшотом. Но перед этим также проверьте интеграцию дескриптора командой:
vmkfstools -e filename.vmdk
Ну и помните, что все эти действия по цепочке вы можете провернуть для следующих уровней дочерних снапшотов, если их диски с данными в порядке. Главное - не забывайте делать резервные копии перед любыми операциями!
На днях обновилась известная многим администраторам виртуальной инфраструктуры утилита RVTools до версии 4.4.1. Напомним, что она предназначена для помощи пользователю VMware vSphere в различных аспектах при выполнении рутинных операций в виртуальной среде серверов ESXi и виртуальных машин. В прошлый раз об RVTools 4.3.1 мы писали вот тут.
Давайте посмотрим, что нового появилось в RVTools 4.4.1:
Теперь утилита разрабатывается на Visual Studio 2022.
RVTools использует обновленный VMware vSphere Management SDK 8.0.
Log4net обновлен до версии 2.0.15.
Компонент RVToolsPasswordEncryption теперь использует mac-адрес вместо фиксированной строки для шифрования пароля.
Новые колонки на странице vInfo: емкость диска в MiB, Folder ID, роль Fault tolerance, операции Reboot/Poweroff, опция EFI Secure boot, SMBIOS UUID.
Новая колонка на странице vCPU - Numa Hotadd Exposed. Это булевое значение, показывающее работает ли NUMA-топология при включенном CPU hotadd.
Новые колонки на странице vDisk: Disk UUID и Disk sharing mode.
На всех страницах, относящихся к ВМ, колонка с тэгами поставлена перед колонкой Datacenter. Также изменен текст тултипа VM UUID на "VirtualCenter-specific 128-bit UUID of a virtual machine".
Новые колонки на странице vSource: version, patch level и VI SDK Server.
На странице vHealth путь /storage/archive исключен из проверки free disk capacity, так как этот раздел может быть заполнен изначально в нормальной конфигурации (подробнее тут).
Исправлена ошибка с некорректным отображением колонки Primary IP Address на странице vInfo.
Решена проблема на странице vNetwork, когда нельзя было понять, является ли IP-адрес типом ipv4 или ipv6.
Скачать новую версию RVTools 4.4.1 можно по этой ссылке. Описание отображаемых параметров находится тут.
Как написали коллеги с сайта virten.net, при установке платформы VMware ESXi 7 или 8 на сервер с процессорами Intel Core 12 поколения возникает розовый экран смерти (PSOD), содержащий следующие сообщения:
HW feature incompatibility detected; cannot start
Fatal CPU mismatch on feature "Hyperthreads per core" Fatal CPU mismatch on feature "Cores per package" Fatal CPU mismatch on feature "Cores per die"
Проблема здесь заключается в том, что новая архитектура процессоров Intel идет с ядрами двух типов - Performance-cores и Efficient-cores. Начиная с vSphere 7.0 Update 2, в ядро гипервизора был добавлен параметр cpuUniformityHardCheckPanic для того, чтобы избежать подобной проблемы, которая проявляется в следующих версиях платформы виртуализации:
vSphere / ESXi 8.0 или более поздние
vSphere / ESXi 7.0 Update 2 или более поздние
1. Итак, в самом начале установки ESXi нажимаете SHIFT+O, чтобы изменить параметры загрузки. Далее в появившейся строке вводите:
cpuUniformityHardCheckPanic=FALSE
2. После этого нажимаете Enter и дожидаетесь окончания установки.
3. Затем во время первой загрузки опять нажимаете SHIFT+O и вводите ту же самую строчку.
4. А уже когда гипервизор загрузится, нужно добавить следующую строчку в параметры ядра, чтобы отключить проверку, а ESXi не вылетал в розовый экран при каждой загрузке:
# esxcli system settings kernel set -s cpuUniformityHardCheckPanic -v FALSE
Также есть метод, описанный для установки через механизм автоматизированного развертывания Kickstart:
1. Создаем флэшку USB с ISO-образом ESXi, как написано здесь.
2. Открываем файл /efi/boot/boot.cfg в редакторе и добавляем следующую опцию в строчку kernelopt= параметров ядра:
ks=usb:/KS.CFG cpuUniformityHardCheckPanic=FALSE
3. Далее вам надо создать файл /KS.CFG для конфигурации Kickstart и в секциях %post (пост-параметры установки, но до первой загрузки) и %firstboot (первая загрузка) добавить следующее:
# NTP
esxcli system ntp set -s pool.ntp.org
esxcli system ntp set -e 1
4. Далее можете провести установку с USB-флэшки, а через пару минут вы уже сможете получить доступ к ESXi через консоль или по SSH.
5. Если вы используете механизм Secure Boot, то обычно секция %firstboot не применяется (так работает по умолчанию на большинстве систем). Поэтому вам потребоваться ввести команды этой секции вручную или отключить Secure Boot. С командами раздела %post все будет в порядке.
6. По окончании установки через Kickstart все будет работать:
На прошедшей осенью этого года главной конференции о виртуализации Explore 2022 компания VMware сделала немало интересных анонсов, главным из которых стал выпуск новых версий платформ vSphere 8 и vSAN 8. На американской и европейской конференциях много говорили о будущих новых продуктах и технологиях VMware, но несколько незамеченным остался переход VMware на новую схему релизов платформы vSphere...
За релизами платформы VMware vSphere 8, у которой недавно состоялся выпуск General Availability, многие забыли о том, что большинство пользователей в производственной среде используют еще VMware vSphere 7. Недавно компания VMware выпустила обновления компонентов этой версии платформы - ESXi 7.0 Update 3i (на 13 декабря почему-то недоступен для скачивания) и vCenter 7.0 Update 3i. Напомним, что об обновлении VMware vSphere 7 Update 3f мы писали вот тут (а здесь - о возможностях Update 3), с тех пор вышел еще апдейт 3g, а сегодня мы расскажем об очередном пакете - 3i.
Давайте посмотрим, что нового в ESXi 7.0 Update 3i:
Поддержка функций vSphere Quick Boot для сервера HPE ProLiant MicroServer Gen10 Plus v2
Исправления для уязвимостей CVE-2022-31696 и CVE-2022-31699, описанных в статье VMSA-2022-0030
В VMware vCenter 7.0 Update 3i появились следующие улучшения:
Исправления для уязвимостей CVE-2022-31697 и CVE-2022-31698, описанных в статье VMSA-2022-0030
Исправление для уязвимости CVE-2021-22048, описанное в статье VMSA-2021-0025
Обновление решения VMware vSphere with Tanzu (подробнее - в Release Notes)
Обновление Photon OS (подробнее тут, в основном патчи безопасности)
Как мы видим, обновления чисто косметические, но исправлены некоторые актуальные проблемы безопасности, поэтому обновиться стоит. Очевидно, что новый функционал в vSphere 7 добавляться уже не будет, так как идет работа над обновлением vSphere 8.
Скачать VMware ESXi 7.0 Update 3i и VMware vCenter 7.0 Update 3i можно по этой ссылке.
На сайте проекта VMware Labs появился новый интересный продукт - Cluster Rules Manager (CRM). С помощью данной утилиты можно провести обследование виртуальной инфраструктуры на предмет правил DRS affinity и anti-affinity rules. Первые определяют обязательное сосуществование ВМ на одном хосте ESXi (например, критичный сервис с высокой интенсивностью сетевого и дискового взаимодействия), а вторые - наоборот, невозможность существования ВМ на одном хосте (например, для целей отказоустойчивости и независимости от единой точки отказа оборудования).
По итогам использования этого средства через веб-консоль администраторы могут провести аудит текущих правил DRS, а также делать их импорт и экспорт в рамках инфраструктуры VMware vSphere.
Давайте посмотрим на возможности VMware Cluster Rules Manager:
Аудит правил anti-affinity для всех виртуальных машин в рамках сервера vCenter.
Импорт правил DRS affinity rules из разных серверов vCenter.
Экспорт правил DRS affinity rules в новый vCenter с сервера vCenter, гле они уже настроены.
Отчет о правилах, содержащий различные умные метрики - пользователь может выбрать, на каком уровне он будет сгенерирован (vCenter, датацентр или кластер). Отчет можно экспортировать в HTML-формат.
Отчет в реальном времени по ассоциациям VM-Rule. Можно выбрать виртуальную машину, и отчет будет содержать информацию обо всех правилах DRS, которые затрагивают данную ВМ. Этот отчет также можно генерировать на разных уровнях - ВМ, хост ESXi, кластер, датацентр и сервер vCenter. Его также можно экспортировать.
Возможность соединяться с разными vCenter в интерфейсе продукта.
Скачать VMware Cluster Rules Manager (CRM) можно по этой ссылке. Такую утилиту мы давно ждали, правда пока интерфейс оставляет желать лучшего. Ждем следующих версий!
На сайте проекта VMware Labs вышло еще одно полезное обновление - комплект драйверов USB Network Native Driver for ESXi версии 1.11. USB-драйвер для ESXi может понадобиться для сетевых адаптеров серверов, подключаемых через USB-порт. Такой адаптер, например, можно использовать, когда вам нужно подключить дополнительные Ethernet-порты к серверу, а у него больше не осталось свободных PCI/PCIe-слотов. О прошлой версии этого комплекта драйверов мы рассказывали тут.
Основным и единственным нововведением данного комплекта стала поддержка гипервизора VMware ESXi 8.0 в составе VMware vSphere 8.0 (пакет SXi800-VMKUSB-NIC-FLING-61054763-component-20826251.zip).
Актуальная таблица поддерживаемых сетевых адаптеров на сегодня выглядит так:
Установка драйвера для vSphere версии 7.0 и выше выполняется командой:
По итогам конференции Explore 2022 компания VMware представила линейку продуктов Aria, пришедшую на смену семейству vRealize. В нее вошло онпремизное решение Aria Operations 8.10, а также облачное Aria Operations Cloud. Оба они предназначены для комплексного управления и мониторинга виртуальной облачной инфраструктуры в различных аспектах.
Одной из главных возможностей Aria Operations являются дэшборды, которые показывают различные метрики виртуальной инфраструктуры, собираемые как напрямую, так и с помощью менеджмент-паков. Сегодня мы посмотрим на интересный дэшборд CPU Core, который предоставляет информацию об используемых ядрах CPU на уровне разных объектов - от датацентров до хостов VMware ESXi.
В рамках анонсированной недавно подписки vSphere+ и решения vRealize Cloud Subscription Manager появилась возможность лицензировать компоненты виртуальной инфраструктуры vSphere и Aria на базе ядер процессоров (CPU Cores). Ниже мы посмотрим, как можно с помощью Aria Operations визуализовать распределение процессоров, чтобы оптимизировать потребление лицензий. Об этом рассказал Karthic Kumar в блоге VMware.
Дэшборд - это мощный функционал Aria Operations, который дает администратору коллекцию виджетов и связанную информацию об объектах датацентра. Мы создадим суперметрики (super metrics) и представления (Views), которые предоставляют данные для дэшборда Core distribution. Чтобы упростить процесс, используем шаблон, в котором есть следующие файлы:
Super Metrics (supermetrics.json)
Views (views.zip)
Dashboard(dashboard.zip)
Итак, скачиваем файл шаблона и заходим в консоль Aria / vRealize Operations под аккаунтом администратора. Нам надо импортировать суперметрики из JSON-файла, для этого идем в Configure –> Super Metrics –> Import и выбираем Supermetric.json:
После импорта у нас в списке появится суперметрика CorePerSocket. Выбираем для нее пункт Edit и включаем ее в политике по умолчанию, чтобы она применилась:
Далее нужно импортировать представления (Views), которые забирают данные суперметрик. Идем в Visualize –> Views –> Manage–> Import и выбираем файл views.zip:
После этого мы увидим импортированные представления в списке:
Теперь пришло время импортировать сам дэшборд. Идем в Visualize –> Dashboards –> Manage–> Import и выбираем файл Dashboard.zip:
Теперь можно кликнуть на Core Distribution в списке дэшбордов. Чтобы данные актуализировались может пройти до 15 минут (если вы видите надпись "No data available"):
В отображаемых данных вы увидите распределение ядре по датацентрам и хостам. Эти виджеты позволят вам получить информацию о соответствии использования лицензий по разным объектам вашей гибридной инфраструктуры. Ну а вы всегда сможете кастомизировать этот дэшборд, чтобы он соответствовал вашим требованиям.
Все из вас, я думаю, знают о продукте Veeam Backup and Replication, ставшем уже стандартом де-факто для резервного копирования виртуальной инфраструктуры VMware vSphere и обеспечения доступности виртуальных датацентров.
Вы также, конечно же, в курсе, что недавно компания VMware объявила о финальной доступности (General Availability) своей обновленной платформы виртуализации VMware vSphere 8. Очевидно, сразу же встал вопрос резервного копирования виртуальных машин на этой платформе.
Компания Veeam недавно выпустила статью KB 2443 о поддержке резервного копирования ВМ на VMware vSphere 8 продуктом Veeam Backup and Replication 11a (билд 11.0.1.1261 P20220302). Суть ее в том, что в целом сейчас обеспечивается работоспособность процесса бэкапа для серверов VMware ESXi 8.0 (это протестировали инженеры Veeam), но с некоторыми ограничениями:
Как вы знаете, недавно компания VMware сделала публично доступной для всех обновленную версию платформу виртуализации VMware vSphere 8 в рамках релиза General Availability (ранее состоялся выпуск продукта на этапе Initial Availability).
Администраторы, которые давно следят за выпусками платформы vSphere, знают, что при первоначальном выпуске гипервизора в официальном списке совместимости HCL (Hardware Compatibility List) не все серверные системы приводятся как сертифицированные для последнего релиза vSphere. Например, некоторые могут заметить, что многие серверы различных производителей, которые поддерживались в vSphere 7 Update 3, пока отсутствуют в HCL.
На это обратил внимание Florian Grehl, автор сайта virten.net. Причина такого факта проста - при первоначальном выпуске новой версии ESXi не все серверные системы успевают должным образом протестировать и сертифицировать.
Именно такой список и приводит Флориан, он довольно большой, поэтому лучше всего посмотреть его тут. Список официально несертифицированного оборудования становится все короче, поэтому на virten.net публикуются его обновления (последнее доступное - от 14 ноября). В списке пока представлены только серверы от Cisco, DELL, Fujitsu, Hewlett Packard Enterprise, Hitachi, IBM, Lenovo, Inspur, Huawei и Supermicro.
При клике на выбранный сервер откроется его карточка в VMware HCL:
Надо понимать, что тот факт, что система не сертифицирована, не означает, что VMware vSphere / ESXi на ней работать не будет. Просто вендоры самостоятельно занимаются сертификацией, а значит делают это каждый в своем темпе. Поэтому, если ваш сервер есть в списке, то лучше всего спросить о его сертификации у вендора напрямую.
На сайте проекта VMware Labs вышло обновление платформы VMware ESXi Arm Edition 1.11. Напомним, что этот продукт представляет собой гипервизор для архитектуры ARM на базе кода ESXi. В будущем он найдет свое применение в таких решениях, как Project Monterey. О прошлой версии ESXi для ARM 1.10 мы писали в июле этого года.
Давайте посмотрим, что нового появилось в ESXi Arm Edition 1.11:
Поддержка CPU accelerated crypto (например, NEON и Armv8 Cryptographic Extensions) для встроенных служб ESXi
Исправлена проблема с xterm-256color terminfo. Программа Terminal в macOS (или любой другой современный терминал) теперь корректно отображает данные команды esxtop
Поддержка виртуального модуля vTPM с функциями Secure Boot и шифрования ВМ
Поддержка аппаратного обеспечения GICv4
Добавлены VMware Tools для Windows
Решена проблема с драйвером ixgben
Обратите внимание, что начиная с версии 1.10, поддерживается апгрейд с ESXi Arm Edition 1.x. Чтобы сделать апгрейд вам понадобится создать загрузочное USB-устройство из ISO-образа и инициировать апгрейд в интерактивном режиме через ESXi Console. Использование VUM/vSphere Lifecycle Manager пока не поддерживается.
Известные на данный момент проблемы:
Системы Ampere Altra могут вывалиться в розовый экран (PSOD) при использовании AHCI-дисков
Графический инсталлятор Ubuntu 22.04 LTS не работает, используйте Ubuntu 22.10
Загрузить VMware ESXi ARM Edition 1.11 можно по этой ссылке.
Как вы знаете, на прошедшей конференции Explore 2022 компания VMware анонсировала новые версии платформы виртуализации vSphere 8 и решения для создания отказоустойчивых хранилищ vSAN 8. Недавно эти решения стали доступны для скачивания как Initial Availability (IA), поэтому сейчас самое время развертывать их в своих тестовых окружениях для проверки перед большим апгрейдом.
Начать можно с виртуальной тестовой лаборатории, то есть инсталляции в рамках одного сервера или рабочей станции, где сервисы ESXi, vCenter и vSAN поднимаются в виртуальных машинах.
Для этой цели известный блоггер и инженер VMware Вильям Ламм создал на PowerCLI специальный сценарий Automated vSphere & vSAN 8 Lab Deployment, который автоматизирует развертывание компонентов виртуальной лаборатории на базе vSphere и vSAN восьмой версии.
Как видно на картинке, скрипт предназначен, чтобы развернуть три виртуальных сервера ESXi, создать на их базе кластер vSAN, а также развернуть виртуальный модуль управления vCenter Server Appliance (vCSA).
Итак для этого вам понадобятся:
Действующий vCenter Server не ниже седьмой версии
Компьютер Windows, Mac или Linux с установленным PowerShell Core и фреймворком PowerCLI 12.1 Core
Перед исполнением сценария вам нужно заполнить все его параметры, относящиеся к вашей текущей инфраструктуре и к создаваемой тестовой лаборатории, а также распаковать содержимое ISO-образа виртуального сервера vCSA.
Пример исполнения сценария показан ниже:
В итоге процесс будет выполняться пошагово до его завершения с информацией о каждом шаге:
Ну и после всего этого в vSphere Client вы увидите вашу созданную виртуальную тестовую лабораторию с тремя хостами ESXi и сервером управления vCenter / vCSA:
Скачать сценарий Automated vSphere & vSAN 8 Lab Deployment можно по этой ссылке, там же есть более подробная информация о том, как его использовать.
Вчера мы писали о том, что решение VMware vSphere 8 стало доступным для загрузки (Initial Availability). Анонсированная на конференции Explore 2022 платформа приобрела не только новые функции клиента vSphere Client, предназначенного для управления инфраструктурой на базе vCenter, но и получила новую версию хостового клиента для отдельных серверов ESXi Host Client 2, который удобно использовать, когда vCenter недоступен.
Напомним, что в прошлый раз о этом клиенте мы писали вот тут, тогда VMware планировала выпустить его второе поколение в конце 2021 года. Теперь Host Client 2 поддерживает не только управление инфраструктурой vSphere 8, но и серверы виртуализации vSphere 7.0 Update 6 (обновление пока не вышло).
Итак, что же нового в VMware ESXi Host Client 2:
1. Обновленная иконка приложения
Самое главное:)
2. Новый дизайн интерфейса на базе фреймворка Clarity
Многие из вас в курсе, что VMware перевела почти все свои интерфейсы на собственный open source фреймворк Clarity, и хостовый клиент стал очередным продуктом, который также был на него переведен. Рабочие процессы теперь выглядят более опрятно, а шаги мастеров - более организованно:
Браузер датасторов теперь дает больше информативности, а сами надписи и информационные лейблы стали более читаемыми. Файлы теперь можно загружать в параллельном режиме в фоне, а колонки позволяют обеспечивать видимость глубокой структуры каталогов:
3. Улучшенные иконки
Теперь в качестве визуальных элементов используется более 100 иконок, которые соответствуют таковым из конвенционального vSphere Client. Все иконки стали монохромными, чтобы не нагружать интерфейс и глаза.
Вот так выглядят портлеты свойств:
А вот так - действий:
4. Специальные возможности
Теперь для слабовидящих людей есть приятные улучшения. Элементы попадают в обводку:
Для полей ввода есть выделение (можно переключаться между ними по Tab или Shift+Tab), а на вкладках четко видны активные элементы:
5. Выбор светлой или темной темы
Тему можно выбрать в разделе Help > About > UI Preferences Theme:
На выбор есть 3 темы. Стандартная - это светлые цвета и мягкий контраст:
Классическая - для привыкших к стандартному белому фону:
И темная - для чувствительных к свету и любителей работать по ночам:
Но вообще по кнопке Customize можно настроить различные цвета для визуальных групп:
6. Кастомизабельный стартовый экран
В файле /etc/vmware/welcome можно редактировать иконку и приветственное сообщение, которые могут быть индивидуальными для каждой компании:
Таблица поддерживаемых браузеров сейчас выглядит так:
Клиент ESXi Host Client 2 в обновленной платформе VMware vSphere 8 доступен администраторам по ссылке в браузере:
Недавно мы писали о новой схеме релизов платформы VMware vSphere. Согласно ей, вводится два типа выпусков - IA (Initial Availability) и GA (General Availability), которые позволяет выровнять схему релизов с продуктами облачной линейки Cloud Services в рамках доступной пользователям подписки vSphere+.
Вчера VMware объявила о доступности vSphere 8 Initial Availability - продукт можно скачать по этой ссылке. О возможностях новой версии платформы мы писали вот тут.
IA-релиз - это полностью Enterprise-ready продукт, который соответствует всем промышленным стандартам VMware уровня релиза GA, но доступен он, как правило, на 4-6 недель раньше, чтобы собрать условия его применения от клиентов (и, конечно же, критичные для инфраструктуры баги). В этот промежуток времени будут публиковаться все найденные важные проблемы.
Ставить этот релиз в производственной среде вы можете, но это не рекомендуется. Пока его лучше обкатывать на тестовых серверах и смотреть, как все работает (особенно новый функционал платформы). После выхода vSphere 8 General Availability можно смело устанавливать продукт на свои производственные серверы, так как все критичные проблемы первоначального релиза будут уже решены.
Вчера мы писали о важном нововведении технологии горячей миграции виртуальных машин vMotion Notifications, появившемся в обновленной версии VMware vSphere 8, представленной на конференции Explore 2022. Она позволяет оповещать приложение гостевой ОС о скором начале миграции, чтобы оно могло подготовиться к ней и выполнить процедуры по приостановке сервисов или переключению на резервную систему для кластеризованных приложений.
Второе важное нововведение vMotion в ESXi 8 - это технология Unified Data Transport.
Для миграции включенных виртуальных машин используется протокол vMotion, который оптимизируют уже много лет - он многопоточный и асинхронный, что позволяет минимизировать время перемещения виртуальной машины между хостами ESXi. Этот же протокол использует и технология миграции хранилищ Storage vMotion. В то же время, если вам нужно переместить выключенную виртуальную машину (холодная миграция), то это может занять значительное время, так как в этом случае используется протокол Network File Copy (NFC).
Приведем ниже сравнительные характеристики обоих протоколов (реальная скорость миграции будет зависеть от параметров вашего окружения):
Network File Copy (NFC)
vSphere vMotion
Процесс в один поток
Глубоко оптимизированный многопоточный процесс
Синхронный ввод-вывод
Асинхронный ввод-вывод
Пиковая производительность 1.3 Gbps
Пиковая производительность 80 Gbps
Чтобы привести все к единому уровню производительности, VMware представила технологию Unified Data Transport (UDT) в платформе vSphere 8, которая комбинирует лучшие моменты обеих технологий NFC и vMotion.
Unified Data Transport (UDT) использует NFC как протокол для управления миграцией, а вот сама передача данных идет через протокол vSphere vMotion. Для того, чтобы эта технология работала, вам нужно активировать сервис "Provisioning" для интерфейса VMkernel (это может быть как новый, так и уже существующий интерфейс):
Если вы используете выделенный стек TCP/IP для vMotion, вы не сможете активировать службу "Provisioning" на этом же интерфейсе, в этом случае можно просто создать еще один интерфейс.
Посмотреть вживую, насколько хорошо работает технология Unified Data Transport для холодной миграции виртуальных машин, вы можете в видео ниже:
По итогам прошедшей конференции Explore 2022 компания VMware анонсировала платформу виртуализации vSphere 8. В прошлой версии платформы в технологии горячей миграции vMotion появилось очень много всего нового (например, вот, тут, тут, тут и тут). В этой версии также были сделаны некоторые улучшения vMotion, давайте на них посмотрим.
vSphere vMotion Notifications
Как вы знаете, переключение с одного процесса ВМ на другой целевого хоста ESXi занимает очень мало времени, и для большинства приложений это незаметно. Однако есть очень небольшое количество приложений, которые не могут пережить малые задержки (latency), поскольку очень интенсивно используют ресурсы CPU и хранилищ. Таких случаев буквально единицы, но VMware решила позаботиться и о них.
Теперь приложения могут быть написаны таким образом, чтобы они могли получить оповещение о предстоящей миграции vMotion и подготовиться к ней. Такие действия могут включать в себя остановку сервисов, заморозку приложения (quiescing), переключение на резервный инстанс в случае кластеризованного приложения, а также выполнение других операций.
Приложение может отложить миграцию vMotion на заданный таймаут, но не может отклонить и остановить ее. Вот как это работает (кликните на картинку для открытия анимации):
Приложение, через механизм VMware Tools, может быть оповещено о начале задачи vMotion. На полученную нотификацию оно реагирует согласно своей логике, после чего отсылает подтверждение платформе ESXi о том, что миграцию можно начинать. Виртуальная машина затем перемещается с помощью vMotion, после чего приложение получает оповещение о завершении миграции, чтобы оно могло также выполнить необходимые шаги, учитывая действия, совершенные на этапе подготовки.
Механизм vMotion Notifications не включен по умолчанию. Чтобы это работало, надо в расширенных настройках виртуальной машины установить параметр vmOpNotificationToAppEnabled:
После этого нужно установить host-level timeout, который будет определять максимальное время, которое есть у виртуальной машины для завершения подготовки к миграции. Для этого нужно через vSphere API установить параметр vmOpNotificationToApp.Timeout со значением большим 0. Значение устанавливается в секундах (то есть, чтобы дать приложению 5 минут, нужно установить значение 300).
Для установки данного параметра используйте ConfigManager API (см. документацию).
Приложение должно использовать утилиту командной строки vmtoolsd пакета VMware Tools для регистрации оповещений. Вот какие команды ему доступны:
На конференции Explore 2022 компания VMware объявила о выпуске новой версии платформы VMware vSphere 8, о возможностях которой мы уже писали. Сегодня мы посмотрим, что нового появилось в механизме работы томов vVols, которые позволяют более гибко подходить к хранению объектов виртуальных машин за счет передачи некоторых функций работы с их данными на сторону хранилищ.
Сегодня мы поговорим о нововведениях, которые появились в технологии vVols для восьмой версии платформы.
1. Поддержка технологии NVMe-oF
Это большое нововведение означает поддержку томами vVols на платформе vSphere 8 технологии NVMe-oF. В новой спецификации vVols появились определения vSphere API для механики работы с хранилищами VASA (vSphere Storage APIs for Storage Awareness) 4.0.
Напомним, что NVMe-oF - это реализация технологии RDMA, которая позволяет не использовать CPU для удаленного доступа к памяти и пропускать к хранилищу основной поток управляющих команд и команд доступа к данным напрямую, минуя процессоры серверов и ядро операционной системы. Еще один его плюс - это то, что он обратно совместим с такими технологиями, как InfiniBand, RoCE и iWARP. Для всего этого нужна поддержка RDMA со стороны HBA-адаптера хоста ESXi.
NVMe-oF имеет преимущество в виде меньших задержек (latency) над традиционным интерфейсом SCSI. Эта технология изначально предназначена для флэш-памяти и позволяет подключать all-flash NVMe дисковые массивы с очень высокой производительностью.
В рамках технологии NVMe-oF vVols каждый объект vVol становится пространством имен NVMe Namespace. Эти пространства имен группируются в ANA group (Asymmetrical Namespace Access). Многие команды проходят как In-Band для более эффективной коммуникации между хостами ESXi и дисковыми массивами.
Также упростилась настройка томов, в том числе NVMe с технологией vVols. При развертывании NVMe в vCenter, когда зарегистрирован VASA-провайдер, оставшаяся установка происходит в фоновом режиме, а обнаружение NVMe-контроллеров происходит автоматически. Как только создается датастор, объекты vPE (virtual Protocol Endpoints) и само соединение подхватываются и обрабатываются автоматически.
2. Дополнительные улучшения vVols NVMe-oF
Они включают в себя следующее:
Поддержка до 256 пространств имен и 2000 путей
Расширенная поддержка механизма резерваций для устройств NVMe - это позволит поддерживать функцию Clustered VMDK для кластеризованных приложений, таких как Microsoft WSFC на базе хранилищ NVMe-oF
Функции автообнаружения в механизме NVMe Discovery Services для ESXi при использовании NVMe-TCP для обнаружения контроллеров NVMe
3. Прочие улучшения
Улучшение VM swap - уменьшенное время при включении и выключении для обеспечения лучшего быстродействия vMotion
Улучшенная производительность компонента config-vVol - убраны задержки при обращения виртуальных машин к платформе ESXi
В рамках событий первого дня проходящей сейчас конференции VMware Explore 2022 была анонсировала платформа виртуализации VMware vSphere 8. Это событие очень ждали многие администраторы и менеджеры датацентров, так как с момента релиза прошлой мажорной версии платформы VMware vSphere 7 прошло уже два с половиной года. Давайте посмотрим, что нового в VMware vSphere 8...
Компания VMware обновила свой гипервизор для архитектуры ARM на сайте проекта Labs - ESXi ARM Edition 1.10. В будущем этот гипервизор найдет свое применение в таких платформах, как Project Monterey. О прошлой версии ESXi для ARM 1.9 мы писали в апреле этого года.
Давайте посмотрим, что нового в ESXi ARM Edition 1.10:
Теперь поддерживается апгрейд с прошлых версий ESXi-Arm 1.x
Поддержка Arm DEN0115 (доступ к конфигурации PCIe через интерфейс firmware, протестировано на Raspberry Pi)
Поддержка L3 cache info для Ampere eMAG
Небольшие улучшения для non-cache coherent DMA
Статистики для Raspberry Pi NIC (genet)
GOS: возможность использования VNXNET3 и PVSCSI как драйверов по умолчанию в freebsd12
Поддержка чипов RK3566 SBC (например, Quartz64) - как PCIe, так и EQOS onboard NIC
Исправлены ошибки для драйвера Intel igbn NIC (повышена стабильность работы)
Возвращается нулевой код ошибки для unknown sys_reg(3, 0, 0, x, y) для виртуальных машин
Данные телеметрии - собирается статистика о системе, на которой запущен гипервизор
Вот какие данные собираются в рамках телеметрии в целях улучшения продукта:
CPU info: число ядер, NUMA, производитель и т.п.
Firmware info: вендор и версия
Platform info: вендор, продукт, UUID, список устройств
ESXi-Arm info: версия, уровень патчей, билд продукта
Скрипт /bin/telemetry выполняется при каждой загрузке и в 00:00 каждую субботу
Скачать VMware ESXi ARM Edition 1.10 можно по этой ссылке.
Компания VMware на днях выпустила два обновления своей платформы виртуализации vSphere 7 - ESXi 7 Update 3f и vCenter 7 Update 3f. Напомним, что об обновлении vSphere 7 Update 3d мы писали вот тут.
Давайте посмотрим, что в них появилось нового.
VMware ESXi 7 Update 3f:
Данный релиз исправляет уязвимости, описанные в бюллетенях CVE-2022-23816, CVE-2022-23825, CVE-2022-28693 и CVE-2022-29901. Для подробной информации об этих проблемах вы можете обратиться к статье VMSA-2022-0020.
Добавлена поддержка vSphere Quick Boot для следующих серверов:
Исправления уязвимостей CVE-2022-22982 (подробнее тут) и CVE-2021-22048 (подробнее тут)
Улучшения масштабируемости архитектуры VMware HCI Mesh - теперь один кластер vSAN может обслуживать локальные датасторы до 10 клиентских кластеров vSAN
Улучшения компонентов vSphere Client - исправлены некоторые проблемы с дата-гридами, инвентарем (более компактное представление), Related Objects и Global Inventory Lists. Ну и в целом улучшено юзабилити клиента.
Обновление инфраструктуры VMware vSphere with Tanzu (подробнее тут)
Как вы знаете, через интерфейс esxcli на сервере VMware ESXi можно устанавливать расширенные настройки (Advanced Settings). Список таких доступных настроек можно вывести командой:
esxcli system settings advanced list
При этом не все пространства имен (namespaces) доступны через этот интерфейс командной строки. Эти настройки, в таком случае, как правило, доступны через интерфейс vSphere Client, но вам может понадобиться заскриптовать их. Об этом рассказал Дункан Эппинг.
Некоторые администраторы vSphere знают, что есть также такой интерфейс vim-cmd, который уже не рекомендуется использовать, но, тем не менее, его еще можно применять для установки некоторых настроек. Среди них, например, есть настройка Config.HostAgent.ssl.keyStore.allowSelfSigned для разрешения самоподписанных сертификатов на хостах ESXi.
В этом случае вы можете использовать команды в следующем формате:
vim-cmd hostsvc/advopt/update name.option type value
Для самоподписанных сертификатов нужная команда выглядит так:
Мы довольно часто пишем о максимальных параметрах виртуальной инфраструктуры VMware vSphere и ее компонентов, в частности VMware vCenter (например, тут и тут). Сегодня мы немного освежим эти данные на примере последней версии сервера управления vCenter и приведем несколько примеров. Для начала напомним, что актуальные данные по максимальным конфигурациям продуктов VMware можно найти по адресу: https://configmax.vmware.com, а также в официальной документации.
Кроме того, у VMware есть отличное видео, посвященное лимитам vCenter и правилам выполнения одновременных операций в виртуальной среде:
Итак, лимиты можно разделить на 2 категории:
Глобальные лимиты для инфраструктуры (виртуальный датацентр).
Лимиты на уровне хоста и его компонентов (например, сетевые адаптеры).
Если говорить о глобальных параметрах, то значения тут следующие:
Вы можете запустить до 640 одновременных операций в vCenter, пока они не начнут становиться в очередь.
Всего можно запустить до 2000 одновременных операций на один сервер vCenter.
На уровне хостов ESXi есть следующие механизмы работы и ограничения:
Хосты ESXi 6 и 7 версий имеют 16 слотов для выполнения операций в единицу времени:
Любая операция с виртуальными машинами потребляет какое-то количество слотов на источнике и целевом хосте.
Операция Storage vMotion стоит 8 слотов на хост. Если вы меняете только датастор у виртуальной машины, оставляя тот же хост, то потребляются эти 8 слотов, то вы можете сделать 2 одновременных миграции. Ранее это работало несколько иначе - смотрите наш пост вот тут.
Операция Linked clone потребляет 1 слот, но для этого у вас уже должен быть создан снапшот. Если у вас его нет, то он сначала создается - это может замедлить создание первого связанного клона. Также снапшот требуется и при клонировании включенной ВМ, где требуется уже 2 слота (то есть одновременно можно делать 8 таких операций для данной пары хостов).
Операции Clone, Relocate и vMotion стоят 2 слота каждая на каждом хосте - то есть и на источнике, и на целевом (суммарно получается потребляется 4 слота на двух хостах). Это же работает и при клонировании ВМ на том же самом хосте - на нем в этот момент потребляется 4 слота (то есть одновременно на хосте можно делать 4 таких операции).
Для датасторов также есть слоты и ограничения на одновременные операции:
У одного датастора есть 128 слотов.
Операция vMotion стоит 1 слот, то есть на одном датасторе может проходить до 128 одновременных миграций vMotion.
Операция Storage vMotion стоит 16 слотов, то есть на одном датасторе может проходить до 8 одновременных миграций vMotion.
Это же работает и для датасторов vSAN, где часто встречаются конфигурации с одним датастором - это надо иметь в виду.
Лимиты для сетевых адаптеров сейчас следующие (помните, что для vMotion лучше иметь отдельный адаптер или выделенную пару портов на нем):
У 1Gb NIC есть 4 слота, то есть можно делать до 4 одновременных миграций vMotion через этот адаптер.
У 10Gb и 25Gb NIC есть 8 слотов, то есть можно делать до 8 одновременных миграций vMotion через такие адаптеры.
Более подробно об организации адаптеров для vMotion вы можете прочитать в KB 2108824.
На сайте проекта VMware Labs вышло обновление USB Network Native Driver for ESXi 1.10. Напомним, что это средство представляет собой нативный USB-драйвер для ESXi, который необходим для сетевых адаптеров серверов, подключаемых через USB-порт. Такой адаптер, например, можно использовать, когда вам нужно подключить дополнительные Ethernet-порты к серверу, а у него больше не осталось свободных PCI/PCIe-слотов. О прошлой версии этих драйверов мы писали вот тут.
Давайте посмотрим, что нового в версии пакета 1.10:
Добавлена поддержка VMware ESXi 7.0 Update 3c и 3d
Исправлена проблема с выпадением ESXi в BSOD при использовании драйвера с последними версиями ESXi
Драйверы версии 1.10 подходят только для ESXi 7.0 Update 3c и Update 3d, вот их дистрибутив:
Таблица поддерживаемых устройств теперь выглядит так:
Для других версий ESXi нужно использовать одну из предыдущих версий драйвера. Вот, например, обновилась также и версия 1.9, куда были добавлены следующие возможности:
Добавлена поддержка ESXi 7.0 Update 3, 3a и 3b.
Добавлена поддержка идентификаторов VID: 0x0b05/PID: 0x1976 и VID: 0x1A56/PID: 0x3100.
Исправлена проблема в механизме управления питанием в xHCI.
Сканирование шины USB (usbBusFullScanOnBootEnabled=0) отключено по умолчанию, что позволяет предотвратить выпадение в PSOD для пользователей, у которых есть несколько сетевых карточек USB.
Этот релиз предназначен только для ESXi 7.0 Update 3, Update 3a и Update 3b:
RSS
